Irving pernah berkahwin dengan Joan Carlisle Irving,[1] bersama-sama mempunyai empat anak sebelum bercerai pada tahun 1980. Perkahwinan keduanya adalah dengan Sandra Ring, dengan siapa beliau mempunyai Sarah Irving.[22] Irving tinggal di Saint John sambil memiliki sebuah kediaman di Boston, Massachusetts.[22]

Pada 13 Mei 2024, Irving meninggal dunia akibat kanser pada usia 93 tahun,[4][23] di Massachusetts General Hospital.[24] Pada masa kematiannya, Forbes menganggarkan nilai kekayaannya adalah sebanyak AS$6.4 billion,[10] manakala Bloomberg menganggarkan nilai kekayaannya sebanyak AS$9.8 billion.[22] Upacara pengebumiannya diadakan di Saint John.[24]